Vào mùa xuân năm 624, Đường đã chiếm lĩnh đại bộ phận Trung Quốc, tiêu diệt toàn bộ các thế lực cát cứ không có Đột Quyết chống lưng. Cao Khai Đạo lo sợ rằng mình sẽ là mục tiêu tiếp theo nên đã dự tính hàng phục triều Đường, song đã quyết định không làm như vậy vì trước đây từng phản lại triều Đường và vì có Đông Đột Quyết hỗ trợ. Tuy nhiên, binh lính của ông phần lớn xuất thân từ các khu vực nay do triều Đường kiểm soát, họ thương nhớ quê hương. Cao Khai Đạo sợ rằng các binh sĩ này sẽ quay lưng với mình nên đã chọn vào trăm dũng sĩ và chính thức xem họ là "nghĩa nhi", cho họ bảo vệ các nội, do Trương Kim Thụ (張金樹) thống lĩnh.

Trong khi đó, Lưu Hắc Thát bại trận và bị quân Đường giết vào năm 623, bộ tướng Trương Quân Lập (張君立) của ông ta chạy đến chỗ Cao Khai Đạo. Trương Quân Lập và Trương Kim Thụ sau đó đã lập mưu chống lại Cao Khai Đạo. Vào một đêm, Trương Kim Thụ lệnh cho đồng đảng bí mật cắt dây cung và giấu gươm giáo của các "nghĩa nhi", sau khi các "nghĩa nhi" đã ngủ, Trương Kim Thụ và đồng đảng tấn công điện các của Cao Khai Đạo. Khi các "nghĩa nhi" nhận thấy vũ khí của họ không sử dụng được hoặc đã mất nên đầu hàng. Cao Khai Đạo nhận ra mình đang ở trong tình thế vô vọng, mặc áo giáp và cầm vũ khí, ngồi trong đường thượng cùng thê thiếp dự tiệc. Đồng đảng của Trương Kim Thụ biết Cao Khai Đạo vốn dũng mãnh nên không dám xông tới giết. Đến lúc bình minh, Cao Khai Đạo tự thắt cổ chết, thế thiếp cùng chư tử của ông cũng đều tự sát. Trương Kim Thụ sau đó giết chết các "nghĩa nhi" và Trương Quân Lập, quy hàng triều Đường.